Layer-wise Token Compression for Efficient Document Reranking
逐层令牌压缩以提升文档重排效率
🧭 文档重排序效率优化 · Token 压缩 ★ 深度解读
Amazon AGI · Amazon AWS
在中层Transformer层进行自适应令牌池化，保留早期交互并加速计算，吞吐量最高提升116%
📌 工作参考价值（4 点）
- 电商搜索/推荐的重排序阶段常使用 cross-encoder，文档/商品描述较长导致推理延迟高；可借鉴 LTC 在中间层做 token 池化，根据吞吐需求调节压缩率与层位置，平衡效果与速度。
- 训练时必须加入压缩，让模型学习鲁棒的压缩表示；推理时直接对未压缩模型应用压缩会导致效果崩塌（尤其低层高压缩率）。微调成本低，but 效益显著。
- 在 listwise LLM 重排（如商品列表排序）中，通过文档掩码仅压缩物品 token 而保留 query/instruction，可大幅提升吞吐（+73%），同时效果不降甚至提升，可复用到多物品评分场景。
- 轻量压缩（如保留 80% tokens）可能产生正则化作用，使得模型在未见过的长文本上泛化更好，可用来处理商品描述长度差异大的情况，无需额外训练。